Abakumov trở về Tổng hành dinh ở Moskva vào ngày 12 tháng 2 năm 1941 với tư cách là Thanh tra cao cấp An ninh nhà nước (tương đương cấp Thiếu tướng) và sau khi tái tổ chức và thành lập NKGB mới, ông trở thành một trong những đại biểu của Lavrentiy Beria, Ủy viên nhân dân Nội vụ (người đứng đầu NKVD). Vào ngày 19 tháng 7 năm 1941, ông trở thành người đứng đầu Ban Đặc biệt (OO) của NKVD chịu trách nhiệm về Phản gián và an ninh nội bộ trong Hồng quân. Ở vị trí này, sau cuộc tấn công của phát xít Đức vào Liên Xô và những thất bại xương máu của Hồng quân, theo lệnh của Stalin, ông đã lãnh đạo thực hiện cuộc thanh trừng các chỉ huy Hồng quân bị buộc tội phản bội và hèn nhát. Năm 1943, từ 19 tháng 4 đến 20 tháng 5 năm 1943, Abakumov là một trong những đại biểu của Stalin, khi đó kiêm chức Ủy viên nhân dân Quốc phòng Liên Xô.

Vào tháng 4 năm 1943, khi Tổng cục Phản gián của Dân ủy Quốc phòng Liên Xô (hay GUKR NKO USSR) được biết đến với cái tên SMERSH được thành lập, Abakumov được giao nhiệm vụ này, với cấp bậc Ủy viên An ninh nhà nước bậc 2 (tương đương Thượng tướng), và giữ chức danh Phó ủy viên nhân dân Quốc phòng.

Trong chiến tranh, ông thường xuyên báo cáo trực tiếp với Stalin, và dường như có thể đã qua mặt Beria. Chẳng hạn, Beria từ chối trách nhiệm về vụ bắt giữ năm 1941 của Nguyên soái Hồng quân, Kirill Meretskov, mà ông đổ lỗi cho Stalin và Abakumov.[6] Tuy nhiên, Nikita Khrushchev - người sau đó đã đả kích sau khi Stalin qua đời và cả Beria và Abakumov đều đã bị xử tử - đã không tin điều này. Khrushchev tuyên bố rằng Stalin "nghĩ rằng ông đã tìm thấy ở Abakumov một thanh niên sáng dạ, đang thực hiện mệnh lệnh của mình, nhưng thực ra Abakumov đang báo cáo với Stalin những gì Beria đã nói với anh ta là Stalin muốn nghe".[7]